Nửa năm trước kỳ Đại hội Đảng Cộng sản Việt Nam VI, một kỳ đại hội được dự đoán sẽ có những thay đổi lớn, một số lời đồn cho rằng Hoàng Văn Thái có nhiều khả năng được chuẩn bị cho chức vụ Bộ trưởng thay cho tướng Văn Tiến Dũng, và có thể trở thành Chủ tịch Hội đồng An ninh Quốc gia đầu tiên của Việt Nam (chức vụ nắm 3 bộ: Bộ Quốc phòng, Bộ Nội vụ (Bộ Công an hiện nay) và Bộ Ngoại giao)[cần dẫn nguồn]. Tuy nhiên, vào 5 giờ 7 phút sáng ngày 2 tháng 7 năm 1986, ông đột ngột qua đời sau một cơn đau tim tại Quân y viện 108, thọ 71 tuổi (chức vụ Chủ tịch Hội đồng An ninh Quốc gia trong thực tế cũng không hề được Đại hội VI lập ra như lời đồn)

Về sự kiện này, Phó thủ tướng Hoàng Anh nhận định: "Anh Thái là người có công... Sau đó chuẩn bị đưa Anh lên làm Bộ trưởng, chưa kịp thì anh ấy mất..."[cần dẫn nguồn]